Candidate supply and answer selection shape the value of LLM judging in multi-agent systems
候选供给与答案选择塑造多智能体系统中 LLM 评判价值
🧭 多智能体推理 · LLM 评判与终选 ★ 深度解读
Fudan University · Shanghai Jiao Tong University · Shanghai Academy of Artificial Intelligence for Science
将多智能体推理拆成生成-交流-终选，证明 LLM 评委价值随候选正确率、任务和生成器变化，混合频率与排名可救回少数正确答案
📌 工作参考价值（4 点）
- 在电商/搜索/Agent 工作流中，把「候选生成→交互/召回→终选」拆开埋点，重点统计正确/高相关候选是否已出现却被多数投票或流行度排序丢掉；先看生成供给，再优化选择。
- 多智能体集成或 LLM 终选不要只用多数投票：采用 answer frequency 与 judge rank 的 rank-power 加权（wi=(k-i)^t，t=2-4），可在固定候选池中救回少数高质量候选，本文提升约 7pp，适合小候选池和冷门但正确的商品/query 候选。
- LLM judge 不是静态能力：上线前用实际上游生成器的候选分布评估 rank AUC 与 pgen 的关系，监控低可用性区间可能低于随机；对高难度、冷启动或候选正确率很低的场景谨慎使用 judge。
- 算力路由：小候选集（k≤6）用 judge 比扩大采样更划算；大池且候选正确率较高时多数投票更稳，judge 边际收益下降甚至为负。可据此做动态选择策略。